看架構與邏輯不是只要在 Agent 測試才需要，在一般的測試其實也都需要才對，這樣才能真正的抓出問題。

所以一名 QA 測試能力深度，最大的區別就是是否會看架構與底層邏輯的能力

昨天講到，AI Agent 測試的中層要驗證「動線有沒有走對、工具有沒有叫對」。

但有一個前提：你得先知道「對的路」長什麼樣子。

這篇講我覺得測 Agent 最核心、也最常被跳過的一件事：先讀懂你要測的 Agent 的架構與邏輯。

為什麼一定要懂架構？

1. 評估器本身也是 AI，也可能會幻覺

上層用來打分數的評估器，很多是 LLM-as-Judge（讓 AI 當裁判）。

裁判本身也是 AI，所以它也會判錯、也會幻覺，這件事避不掉。

如果你對 Agent 的架構一無所知，就只能完全相信評估器的分數。裁判說什麼就是什麼。

2. 懂架構，才能把「固定的部分」挑出來

Agent 的回答雖然每次不一樣，但有些行為是固定的：

ex.

• 問退貨，一定要走退貨流程
• 沒給訂單編號，一定要先反問

這些固定的行為，不需要 AI 評分，用腳本就能直接驗證，結果是明確的 PASS / FAIL。

懂架構，就是在把「只能靠 AI 評分的範圍」縮到最小。

拆解一個 Agent：以電商客服為例

假設你要測一個電商客服 Agent（僅示意），這是它的架構圖：

畫出來之後，就能回答這三個關鍵問題：

• 什麼情況會走到 A 功能？ 意圖是查訂單，而且有訂單編號
• 什麼情況會走到 B 功能？ 意圖是退貨
• 什麼情況會退回去？ 沒給訂單編號 → 先反問 → 補上後再回到 A

從架構推出測試點

有了動線圖，測試點就自然長出來了：

實務上：要跟 RD 問清楚的問題

Agent 的架構有可能不會寫在規格書裡，QA 得主動去問 RD：

• 有哪些意圖分類？各自對應哪些工具？
• 每個工具需要哪些參數？參數不足時會怎麼處理？
• 什麼條件會反問使用者、什麼條件會退回上一步？
• 有沒有重試或迴圈上限？卡住時會怎麼結束？
• 最近改了 Prompt 的哪一段？可能影響到哪些意圖？

這些問題問清楚，測試範圍就清楚一半了。

🧨 注意：回答看起來對，但根本沒走流程？

• 情境：使用者說「我要退貨」
• 實際發生的：Agent 沒有呼叫退貨流程工具，而是用自己的知識回答「您可以在 7 天內申請退貨，請至會員中心操作」
• 評估器怎麼看：回答有禮貌、有切題、有說明步驟 → 給了高分
• 實際的問題：退貨單根本沒建立，使用者以為申請了，其實什麼都沒發生

如果不懂架構，你可能就只會看到一個高分的回答。

總結

• 評估器也是 AI，它也會幻覺，不能完全相信它的分數
• 懂架構，才能把固定的行為挑出來用腳本驗，把只能靠 AI 評分的範圍縮到最小
• 先畫出動線：什麼情況走 A、什麼情況走 B、什麼情況退回去
• Agent 的架構通常不在規格書裡，QA 要主動去問 RD
• 最危險的是回答看起來對，但根本沒走流程

以前測傳統功能，看規格書就能寫測試案例。

測 Agent 不一樣，規格書只告訴你它「應該回答什麼」，不會告訴你它「怎麼走到那個回答」。

而後者，往往才是 bug 藏身的地方。

明天整理 AI 測試的種類與評估面向：除了功能測試，還有哪些測試是 AI 應用特有的？